Tháng 1 năm 1924, ông cùng 10 thanh niên, trong đó có bạn cùng làng là Phạm Hồng Thái, sang Thái Lan, sau đó đi qua Quảng Châu (Trung Quốc). Tại đây, ông cùng Lê Hồng Sơn, Lê Quang Đạt gặp Nguyễn Ái Quốc và được kết nạp vào tổ chức cách mạng Tâm Tâm Xã (còn gọi là Tân Việt Thanh niên Đoàn)[3]. Ông là một trong 9 hội viên hạt nhân của tổ chức Việt Nam Thanh niên Cách mạng Đồng chí Hội.

Mùa hè năm 1925, ông cùng Lê Hồng Sơn và Lê Quang Đạt được giới thiệu vào học Trường Quân sự Hoàng Phố. Một năm sau, ông được cử sang học Trường Không quân Quảng Châu. Tại đây, tháng 2 năm 1926, được sự giới thiệu của Nguyễn Ái Quốc, ông được kết nạp vào Đảng Cộng sản Trung Quốc. Tháng 8 năm 1927, ông cùng nhóm thanh niên tình nguyện Việt Nam đang theo học tại Trường Không quân Quảng Châu sang học tiếp tại Trường Không quân Liên Xô.

Tuy nhiên, nhờ có sức khỏe tốt nên ông là người duy nhất trong nhóm tiếp tục theo học tại Trường Không quân Liên Xô. Từ tháng 10 năm 1926 đến tháng 10 năm 1927, ông sang học Trường Lý luận Quân sự tại Leningrad (Liên Xô). Từ tháng 12 năm 1927 đến tháng 11 năm 1928, ông học trường Không quân số 2 ở Borisoglebsk (Liên Xô). Từ tháng 12 năm 1928, ông theo học trường Đại học Lao động Cộng sản Phương Đông của Quốc tế Cộng sản ở Moskva (Liên Xô) với bí danh Litvinov (Литвинов). Sau khi tốt nghiệp, ông tham gia Hồng quân Liên Xô với cấp bậc Trung tá.